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一 种 摄影 图 片 中 用 户 专属 的 排序 方法 、 
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摘 要 : 个 性 化 照片 排序 在 图 像 质量 评价 和 图 像 检 索 中 有 着 重要 意义 。 为 了 解决 现存 方法 忽视 用 户 偏 好 和 准确 率 低 的 
缺点 ， 提 出 一 种 新 颖 的 ， 基 于 排序 的 支持 向 量 机 的 用 户 专属 美学 排序 模型 。 首 先 输入 用 户 喜 好 的 专属 图 片 ， 随 后 通过 
深度 卷 积 神经 网 络 提取 特征 并 与 数据 集 对 比 ， 创 建 用 户 专属 美学 训练 集 ， 之 后 使 用 排序 的 支持 向 量 机 学 习 定 制 的 超 平 
面 ， 并 生成 用 户 专属 的 个 性 化 美学 排序 。 后 续 实 验 中 ， 第 一 组 实验 邀请 用 户 进 行 算法 个 性 化 预测 的 评估 ， 第 二 组 实验 
测试 图 片 质 量 高 低 的 准确 度 。 实 验 结果 表明 算法 预测 结果 较 符 合用 户 喜 好 ， 同 时 在 图 片 质量 高 低 分 类 上 有 较 高 的 准确 
度 。 因 此 ， 该 算法 一 种 有 效 的 个 性 化 排序 方法 。 
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User-specific aesthetic quality ranking in photographic images 


Su Shimei, Wang Meng, Xu Yongbo 
(School of Electrical Engineering, Zhengzhou University, Zhengzhou 450000, China) 


Abstract: Personalized aesthetic ranking plays an import role in Image Quality Assessment and Image retrieval. In order to 
solve drawbacks of the missing preference from the user and low accuracy in existing methods, this paper proposed a SVMRank 
based model to automatically rank the input images. The framework took as input a series of specific photos that users prefer, 
then deployed DCNN to extract the deep features and compare them with ones that are extracted from dataset to establish an 


User-specific aesthetic training dataset. Later, SVMRank was used to learn a customized hyper plane to produce a user-specific 


personalized aesthetic ranking. The paper conducted two experiments at mean time: 1) Several users were invited to evaluate 
the performance of user-specific aesthetic ranking. 2) The accuracy on binary-classification was tested. The experiment results 
show that the framework performs well on predicting user’s preference as well as on classifying the images from high to low 


quality. In conclusion, the proposed algorithm is an effective personalized ranking algorithm. 
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ro Tong 等 人 中 提出 一 组 低层 次 视觉 特征 以 之 区 分 专业 摄影 和 

随 着 社交 网 络 和 数码 相机 的 繁荣 发 展 ,网 络 上 拍摄 传递、 业余 摄影 。Datta 等 人 中 聚焦 于 通过 计算 方法 ， 使 用 一 个 56 AE 

分 享 的 照片 数量 呈 爆 炸 级 增长 ， 使 得 用 户 私人 照片 库 足 够 庞大 的 特征 向 量 来 理解 图 片 。 基 于 专业 摄影 师 更 突出 照片 主体 的 假 
并 能 从 其 中 选择 并 保留 有 价值 的 照片 。 然 而 ， 从 海量 图 片 中 手 it, Luo 等 人 口 首 先 提 出 了 主题 区 域 提取 (Subject region 
动 组 建 理想 且 个 性 化 的 相册 或 纪念 集 不 仅 耗 时 繁琐 ， 而 且 工作 extraction )。Mavridaki 等 人 中 首先 提出 了 图 案 (Pattern) 美学 属 
量 大 ， 是 一 个 有 待 探索 的 挑战 。 潜 藏 于 该 挑战 下 的 主要 问题 就 性 , 并 联合 诸如 简洁 度 , 构图 等 取得 较 好 效果 。Aydin 等 人 中 
是 精确 识别 用 户 的 个 人 偏好 。 本 文 主要 研究 在 考虑 用 户 喜好 的 用 五 种 美学 特征 〈 锐 度 ， 色 彩 ， 色 调 ， 清 晰 度 ) 来 自动 评价 、 
情况 下 ， 如 何 自动 评判 输入 图 片 的 美学 特性 。 编辑 图 像 。 然 而 ， 低 层次 的 视觉 特征 难以 完全 捕捉 美学 的 深层 
近年 来 , 由 高 质量 图 片 推导 出 的 美学 通用 描述 子 (Universal 特质 , 一 部 分 研究 者 将 目光 转向 了 高 层次 的 组 合 特征 。 Dhar 等 
descriptor), 因 其 符合 摄影 规则 且 高 效 易 行 , 受到 大 部 分 科研 工 人 [9 提出 基于 内 容 ， 构 图 及 光照 的 可 描述 特征 以 预测 输入 图 片 
作者 欢迎 。 将 简单 的 美学 ， 摄 影 学 规则 应 用 到 图 片 的 分 类 中 ， 的 兴趣 性 (Interestingness )。Lo 等 人 中 提出 一 组 判别 的 ， 并 能 
能 够 有 效 增强 自动 计算 分 类 高 低 质 量 医 性 能 。 从 低级 的 视 高 效 计 算 的 特征 。 Luo 等 人 加 从 不 同 的 类 别 中 提取 对 应 的 特征 ， 
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训练 相应 的 分 类 器 。 
价 中 仍 占有 


席 之 地 ， 但 其 大 多 是 抽象 让 
能 完全 捕捉 摄影 图 片 的 多 样 性 和 美 。 
近年 来 ， 随 着 深度 学 习 的 兴起 ， 在 图 片 质 量 评 价 中 深度 特 


征 的 提取 逐 


到 渐 取代 了 手工 特征 。Lu 等 人 中 提出 一 种 双 列 的 深度 


尽管 手工 标记 的 美学 特征 在 图 片 质量 评 


ChinaXiv 
苏 士 美 ， 等 : 一 种 摄影 图 XA 
由 于 人 类 美学 思维 的 高 度 主观 性 同 复杂 性 ， 为 大 


ae 


众 寻 找 普 


学 规律 的 近似 ， 并 不 


适 的 方法 并 不 现实 。 随 着 社交 网 络 的 发 展 ， 用 户 倾向 
的 图 片 附 上 标签 或 描述 性 语言 。 研 究 人 员 此 时 将 目光 从 个 性 化 


排序 转向 了 定制 化 搜索 及 在 线 推荐 。 Vijendran 等 人 4 
全 套 的 , 标签 标记 的 系统 , 从 图 片上 传 到 标签 匹配 、 语 义 预测 ， 


卷 积 神经 网 络 来 同时 获取 全 局 及 局 
直接 采用 ImageNet 网 络 [11]， 提 取出 4096 维 的 特征 向 量 实现 


了 较 好 的 分 类 效果 。 关 注 同 一 类 图 片 的 相似 度 ，Tian 等 人 [12] 


部 特征 。Dong 等 人 [10] 通 过 


最 终 根 据 用 户 偏 好 检索 结果 。Lu 等 人 [5 将 一 张 在 线 图 


综合 深度 特征 和 语义 特征 创建 依赖 查询 的 模型 ， 取 得 了 比 前 者 


更 好 的 效果 。 
像 输 入 双 列 神 
低 质 量 分 类 上 取得 了 较 高 的 准确 度 ， 


Wang 等 人 [13] 新 颖 的 将 原始 图 像 同 HSV 通道 图 


经 网 络 ， 性 能 显著 。 尽 管 深度 神经 网 络 在 图 像 高 


候 没有 绝对 的 意义 。 


用 户 VE - 属 图 片 
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ME 


东 集 


则 试图 及 


本 文 提 出 的 用 


训练 阶段 。 


美学 在 个 人 偏好 缺失 的 时 


事件 (Event)， 提 出 
中 提取 标签 、 描 述 、 


能 够 调整 标签 顺序 ， 


化 标记 方法 ， 该 方法 


于 将 上 传 


提出 基于 


片 定义 为 


基于 标签 的 排序 系统 ， 该 系统 在 事件 浏览 
评论 信息 并 将 其 整合 成 语义 句子 
制 排 序 。Nwana 等 人 09 提 出 一 种 新 颖 个 性 


以 预测 定 


根据 其 视觉 内 容 自动 剔除 无 关 标 


人 员 致 力 于 改善 个 性 化 在 线 搜索 的 性 能 ， 但 在 线 图 片 


县 或 标签 的 缺失 是 


用 户 专属 排序 模型 
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Bey 


WARY REE 
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的 情况 。 
致命 的 。 


图 像 检索 


对 于 一 张 待 评价 的 图 片 ， 


Be RG 
可 能 存在 
描述 性 


用 户 专 届 W 个 性 化 排序 函数 FO 
训练 集 


用 户 专属 排序 


测试 阶段 


=o - R a i i 一 


户 专属 美学 排序 方法 能 够 高 效 充分 的 解决 上 


述 问题 。 对 于 低层 次 或 高 层次 的 视 


采用 深度 卷 积 


觉 特 征 所 存在 的 缺点 ， 本 文 


神经 网 络 (Deep convolutional neural network， 后 


文 用 DCNN (RE) 提取 图 片 特征 以 保证 充分 捕捉 图 片 内 在 多 样 


性 。 在 个 性 化 提 
文 首先 从 整个 
随即 使 用 sSvM 
a) 提 


主要 两 点 : 


| 练 集中 通 


FE 序 方面 ， 相 较 于 使 / 
过 相似 性 检索 组 建 用 户 专属 训练 集 ， 


j 基 于 标签 的 语义 搜索 ， 本 


ow 0 来 学 习 用 户 专属 人 
出 一 种 新 颖 的 组 建 用 


方法 将 用 户 


好 


司 深度 神经 网 络 


的 模型 。 本 文 贡献 点 有 以 下 


户 专 属 训练 集 的 方法 ， 


x 


结合 起 来 ;b) 基 于 上 述 组 建 


(个 


训练 集 ， 提 出 一 种 用 户 专属 的 美学 排序 模型 预测 输入 图 片 的 


学 质量 


1 “传统 美学 排序 模型 


现 有 输入 图 
TA y, ) -o Y, Doves 
1 的 美学 特性 。 
上 述 传统 模型 是 


TE [-L1] o 


feet, | 代表 低 质 量 。 目 前 通常 


获取 美学 评分 ，， 如 式 (1) 所 示 。 


片上 /， 传 统 美学 评价 模型 旨 在 训练 集 


ot 


ayy 上 使 用 机 器 学 习 方法 来 自动 预测 图 片 


其 中 小 写字 母 表示 图 片 的 美学 评分 ， 其 范围 
型 二 值 分 类 问题 的 一 种 情况 ， 其 中 


系统 总 览 


Y, = XE 


min p(y|/,.P) 


ye(L) 


a) 


科研 工作 者 提出 诸如 支持 向 量 机 cvm) P, uas 
等 方法 来 解决 该 问题 。 在 传统 的 机 器 学 习 方 法 中 ， 模 型 使 用 训 


wing 


练 集训 练 以 减少 训练 


美学 特征 ， 然 而 却 未 


误差 。 


些 共同 的 


传统 美学 评价 模型 假设 所 有 高 质量 的 图 片 享有 


曾 考 虑 ) 


j 户 的 偏好 。 


当 用 户 偏 好 


美学 并 没有 绝对 意义 。 
2 ”用户 专属 的 美学 排序 模型 
现存 研究 中 二 分 类 模型 使 用 标签 标定 图 片 高 低 ， 


缺失 时 ， 


却 在 研究 


过 程 中 忽视 了 用 户 偏好 。 本文 提 出 通过 使 用 DCNN 从 大 数据 集 


中 学 习 用 户 专 属 的 美学 排序 模型 。 算 法 的 框架 如 图 1 
F GEJ 


一 组 用 户 选择 的 图 


F 用 户 相 较 于 其 他 图 片 更 


图 片 ), 算法 首先 提取 


j 最 大 化 后 验 概率 来 


SS 


其 视觉 特征 为 下 一 步 在 整个 训练 


所 示 。 给 
喜欢 这 些 
集中 进行 


相似 图 片 检索 做 准备 。 随 后 使 用 SVM 只 学 习 用 户 专 


a AS AE 


函数 。 在 测试 阶段 ， 上 述 学 习 函 数 输出 实 值 的 评分 并 


AY AE AEA 


F o 


HEERE T) 


户 在 测试 集中 对 该 图 片 


显示 照片 
的 偏好 排 
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2.1 个 性 化 训练 集 生成 及 校正 
Ee 仅仅 使 用 有 二 值 标签 的 传 
局 限 性 在 于 其 忽视 了 用 户 


当 应 对 个 性 化 提 


统 训 练 集 是 远 远 不 够 的 。 
在 选择 过 程 中 的 外 在 喜好 。 bra URL 


加 个 性 化 特征 59， 


上 。 相 较 于 使 用 传统 训 


练 集 ， 本 文通 过 建立 用 广 


现 有 用 户 偏好 图 


E 确 的 排序 用 户 偏 好 的 


爱 的 照片 全 


nt 


CE 


Auer. 


对 于 图 片 集 1， 算 法 首先 提取 其 深度 特 


征 ， 随 后 进行 图 片 相 


型 需要 与 之 相对 应 的 


觉 空 间 中 搜索 与 户 选 定 的 专属 民 
AR s tsk (2) 所 示 。 


其 中 : p AVA, wy 为 月 


用 户 专 属 图 片 


a "名 
Tt 
u2 2 


foo 


性 检索 。 本 文 认 为 ， 学 习 个 性 化 排序 模 
集 。 为 此 ， 本 文 首先 从 共有 的 视 
视觉 相似 的 图 片 组 成 专属 训 


={1,71, eT NL e¥} 2) 
户 专属 图 片 的 临近 空间 集合 。 用 户 


(EH 
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， 等 ; ga 影 图 XIV ERITI 


遇 训 练 集 生成 后 ， 即 可 由 
7 的 等 级 。 
训练 阶段 ， 为 充分 所 
五 个 不 同 的 小 抉 : 
Hits, 
的 尺寸 ， 随 后 
了 最 佳 性 能 的 图 


其 学 习 个 性 化 排序 函数 fo 来 预测 


的 方法 取 自 Dong AMIN TE. 在 
有 捉 输 入 图 片 的 特征 ， 本 文 将 输入 图 片 分 成 
a) 左 上 角 ，b) 右 上 角 ，c) 左 下 角 ，d) 右 下 角 ， 
别 输入 到 模型 中 。 本 文 首先 重 塑 图 片 至 合适 
用 上 述 策 略 以 观 不 同 图 片 块 的 结果 并 对 比 ， 选 
。 经 过 大 量 测试 ， 图 片 中 心 小 块 能 较 符 合 


用 户 原 始 意 图 , 


于 片 的 特征 。 


苗 足 相似 性 检索 的 需要 。 对 每 张 用 户 专属 图 片 ， 
居 检 索 的 相关 度 ， 选 取 较 高 相关 度 的 图 片 能 够 较 好 地 捕捉 输 


长 用 广 
的 训练 集 后 ， 
排序 模型 。 
2 展示 了 部 分 用 户 专属 


于 每 一 类 图 片 数量 以 及 质量 的 限制 ， 本 文 对 
盟 图 片 选取 排名 前 10 张 图 片 。 构 建 完 成 用 户 专属 


征 向 量 输入 到 排序 函数 学 习 定 制 化 的 
EF DONN 的 美学 学 习 模型 取得 了 较 好 的 效果 。 图 
辐 片 检索 的 结果 


本 文 提 取 的 特征 基于 DCNN, 该 网 络 日 
设计 并 提出 。DCNN 在 若干 i 
领域 取得 了 巨大 的 成 功 。 同 样 
也 取得 了 卓越 的 成 果 0020。 本 文 使 月 


基于 CNN 的 图 片 检索 构成 的 月 


H Krizhevsky 等 人 0 


与 目标 检测 等 计算 机 视觉 


企图 片 美 学 质量 评价 中 
月 的 DCNN 总 J 前 五 


层 为 卷 积 层 ， 后 三 层 为 全 连 层 。 


全 连 层 7 提取 特征 。 


本 文 测 试 后 三 层 性 能 最 终 使 用 


在 检索 相似 性 图 


段 的 误差 。 


0， 


ceiling (7 )， VC 六) el,i=j 


VL,1) eT, i+ j 


时 中， 本 文 使 用 式 (3) 以 减少 训练 阶 


G3) 


其 中 ceiling 函数 意 为 检索 结果 跳 到 更 高 的 优先 级 ， Le., 如 果 相 


同 的 图 片 重复 出 现在 个 1 
(在 检索 中 排序 较 低 〉 的 区 


索 中 排序 较 高 的 )。 


HE 


i 专 属 训练 集 的 尺寸 选取 非常 重要 。 由 于 每 一 类 图 片 训练 集中 图 片 数 量 以 及 质量 的 差别 ， 


比 检索 的 不 同等 级 ， 那 么 ， 低 优先 级 
片 应 该 服从 高 优先 级 的 图 片 ( 在 检 


月 户 专属 数据 集 〈 数 


BFS TE. ) 


22 用 户 专属 美学 排序 模型 
如 2.1 节 所 述 ， 
学 抽象 且 不 忽视 用 广 
标 就 是 通过 一 组 新 输入 的 测试 图 片 来 排序 并 预测 用 户 喜好 。 训 

1,y)} 中 工 提 取 的 数据 由 特征 向 量 


合格 的 排序 模型 应 该 能 紧 紧 抓 住 深 藏 的 美 


个 性 化 训练 集 生 成 之 后 ， 模 型 的 


寻找 最 大 化 的 超 了 


BR 


ot, 表示， n ,为 特征 向 量 的 维度 。 随即 可 生成 如 2.1 节 
iy 


型 的 目标 就 是 学 习 如 式 (4) 所 示 排 序 


r(x, )=w" x, (0 
PE w 并 同时 减少 泛 化 误差 以 满足 


约束 条 件 ， 如 式 〈5) 所 示 。 
VG, j eT:w x > wx, (5) 
HE svm 分 类 类 似 ， 其 目标 在 于 生成 与 内 部 查询 id 


选择 数量 适中 的 高 相关 性 图 片 很 有 必要 。 在 风景",“ 状 物 ' 类 别 的 检 
索 结 果 中 ， 相 似 图 片 数量 较 多 《大 于 10 张 )， 但 在 “夜景 "中 ， 检 索 出 较 相 关 图 片 为 10-15 张 。 为 保证 训练 集 较为 符合 输入 图 片 特 征 ， 故 此 选取 10 张 。 
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相符 的 图 片 对 。 这 就 导致 了 如 下 的 优化 问题 ， 如 式 (6) Aras. 


«yl 
min(— 
Gl 
St. WX, 


E,20 


w |B CCD) 


一 W Xi 21-6; vi, j)er 


(6) 


其 中 : w 是 排序 函数 的 权重 向 量 ，C 是 权衡 训练 误差 与 间隔 的 


BH. 上 是 不 同 图 片 中 


的 稀疏 变量 。 通 过 使 用 syy 解决 该 问 
题 。 模 型 从 训练 集中 学 习 一 个 定制 的 超 平面 并 用 理想 的 顺序 强 


yH 


制 排序 测试 图 片 。 本 文 


上 述 定制 超 平面 启发 ， 并 用 其 学 习 用 


户 专 属 的 美学 排序 。 


3 ”实验 及 用 户 调查 


本 章 介 绍 了 实验 用 的 两 个 大 型 公共 数据 集 : CUHKPQ 同 
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了 760005 张 有 评分 的 图 片 )， 并 采用 Lv 等 人 PR 的 方法 ， 将 平均 评 
分 高 于 5 分 的 作为 高 质量 ， 低 于 5 分 的 作为 低 质量 。 

对 每 个 数据 集 , 本 文 随机 将 其 拆 分 十 次 并 取 一 半 为 训练 集 ， 
一 半 为 测试 集 。 
3.2 ”实验 设置 

现 有 若干 待 测试 图 片 ， 本 文 进行 两 组 实验 。 对 于 第 一 组 实 
验 ， 系 统 首 先 从 整个 测试 集中 随机 选择 若干 张 图 片 并 推送 给 用 
户 ;随后 请 用 户 浏览 测试 图 片 ,浏览 后 要 求 用 户 根据 喜好 度 从 高 
到 底 排序 测试 图 片 。 同 时 ,系统 输入 同一 批 排序 图 片 进行 排序 。 
最 后 ， 本 文 比较 了 用 户 排序 的 真实 排序 同系 统 预测 的 排序 以 此 
来 验证 算法 的 有 效 性 。 对 于 AVA 数据 集 , 本 文 同 目前 最 好 性 能 
的 [22] 成 果 做 了 对 比 。 对 于 实验 二 , 本 文 从 传统 的 二 分 类 问题 出 
发 评价 了 算法 ， 并 与 文献 [2~4，12，13，17，19] 等 二 分 类 的 分 


AVA 数据 集 的 一 个 子 集 。 
作 。 本 文 比较 了 几 个 最 新 水 平 的 工作 0292123 以 展示 用 户 专属 


美学 排序 的 有 效 性 。 


两 个 数据 集 都 广泛 应 用 于 美学 评价 了 


3.1 数据 集 


图 3 部 分 选择 5 张 和 15 张 用 户 专属 图 片 的 用 户 


CUHKPQ 数据 集 是 


该 数据 集 包 含 17673 张 图 


由 Tang 等 全 搜 集 整 理 的 公共 数据 集 。 


片 ， 每 张 图 片 由 业余 摄影 爱好 者 提供 


至 专业 摄影 网 站 并 手工 标记 图 片 真实 质量 (Ground truth )。 整 
个 数据 集 被 分 为 七 类 :“ 人 物 ',“ 植 物 ', BON, RAS, ESD, 
片 都 由 十 位 独立 的 浏览 者 给 出 评级 (高 


动物 ' 等 。 此 外 , 每 张 图 


类 精度 作 了 对 比 。 
3.3 实验 1 用 户 专属 的 美学 排序 
3.3.1 用 户 调查 
本 部 分 着 重 介绍 通过 组 织 用 户 调查 获取 用 户主 观 评价 以 评 
判 算法 有 效 性 。 本文 作 者 邀请 20 名 年 龄 分 布 在 23-53 之 间 的 用 
户 进行 用 户 调 查 。 在 实验 期 间 ， 本 文 要 求 用 户 在 系统 随机 推送 
的 图 片 中 选 出 较为 喜欢 的 者 干 张 图 片 ， 这 些 图 片 为 该 用 户 的 专 
属 图 片 。 在 保证 用 户 高 效 选择 图 片 ， 避 免 视觉 疲劳 的 前 提 下 ， 
对 不 同 数量 的 用 户 专属 图 片 (5, 10, 15, 20, 25 张 ) 做 了 大 量 的 
实验 。 在 本 节 ， 讨 论 了 测试 上 述 五 组 不 同 数量 的 用 户 专 属 图 片 
的 平均 精度 (average precision value )。 不 同类 别 下 不 同 数量 世 
用 户 专 属 图 片 实验 所 得 结果 如 表 1 所 示 。 
表 1 CHHKPQ 数据 集 下 选择 不 同 数量 专属 图 片 的 平均 精度 
数量 ”动物 建筑 人 风景 ”夜景 ”植物 静态 
5 0.7143 0.7169 0.8266 0.6330 0.7483 0.7439 0.6894 


10 0.5281 0.4650 0.8369 0.6506 0.6914 0.6897 07049 
15 0.6113 0.6998 0.9075 0.7382 0.6927 0.6760 0.7447 
20 0.5338 06573 0.8357 0.6996 0.7007 0.6046 0.6435 
25 0.5468 0.6444 0.8012 0.6559 0.5816 0.4623 0.5813 


3.3.2 CUHKPQ 数据 库 结 果 与 分 析 

为 了 探索 用 户主 观 偏好 同 其 外 在 体现 ，ie.， 用 户 选择 

的 用 户 专属 图 片 的 数量 , 之 间 的 关系 ， 本 文 进行 了 如 3.3,1 
小 节 所 述 的 用 户 调查 。 相 关 的 平均 精度 如 表 1 所 示 。 对 于 
CUHKPQ 数据 库 中 的 每 一 类 的 图 片 ,系统 会 一 次 性 随机 推送 20 


或 低 质量 )。 考 虑 到 用 户 


验证 假设 。 


的 主观 偏好 , 本 文 假设 同类 图 片 之 间 的 


比较 更 加 详细 ， 为 此 ， 在 单独 一 类 和 整个 数据 集中 进行 实验 以 


张 图 片 供用 户 挑选 。 当 用 户 只 选择 S 张 用 户 专属 图 片 进行 学 习 
时 ， 平 均 精 度 最 高 ， 预 测 效果 最 好 。 在 选择 过 程 ， 作 者 观察 用 
户 并 发 现 ， 当 用 户 专属 图 片 被 限制 在 一 个 较 小 的 范围 ， 比 如 5 
张 时 ， 用 户 倾向 于 选择 有 视觉 表现 力 ， 易 于 排序 的 图 片 。 本 文 


学 视觉 分 析 实 验 。 网 站 总 共 包含 超过 250,000 张 有 详细 评分 的 
图 片 ， 详 见 dpchallenge.com[525。 本 文 使 用 其 中 一 个 76005 张 图 


片 的 子 集 ( 由 于 AVA 数据 身 


AVA 由 Muarray “ A314 4 


整理 , 该 数据 集 多 用 于 进行 美 


amy 


数量 较 大 ， 本 文 随机 从 dpchallenge.com 下 载 


推断 上 述 现象 可 以 由 如 下 两 方面 解释 : a) 实验 所 用 CUHKPQ 
数据 集中 图 片 数量 较 大 (训练 集 同 测试 集 的 尺寸 分 别 为 : “动物 ， 
1621, 1624’, “建筑 ，990，895”，“ 人 物 ，1568，1570”，“ 风 
景 ，1397，1381”，“ 夜 晚 ，854，854”，“ 植 物 ，1198，1199”， 
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“ 状 物 ，1265，1267”)， 可 供用 户 选 择 的 图 片 也 丰富 多 样 。 同 ”进行 了 传统 高 低 质 量 分 类 的 实验 。 因 为 本 文 更 关注 用 户 的 个 性 
一 类 别 的 图 片 基数 大 ， 易 于 用 户 专属 训练 集 的 生成 ， 并 且 学 习 化 排序 ， 在 进行 高 低 质 量 分 类 时 有 必要 考虑 用 户 的 偏好 。 在 实 
较 可 靠 的 定制 超 平面 jb) 上 文 述 的 选择 限制 也 一 定 程度 的 影响 验 三 过 程 中 ,用 户 专 属 的 排序 被 分 为 以 下 四 个 等 级 :“ 非 常 好 ”， 
了 预测 结果 。 当 用 户 专 属 图 片 数量 被 限制 在 较 小 范围 内 ， 用 户 “te”, “TR”, “非常 坏 ”。 本 文 将 用 户 标记 的 “非常 好 ”， “好 ” 
更 倾向 于 选择 最 符合 自己 喜好 的 图 片 ， 该 批 图 片 更 能 代表 用 户 的 图 片 视 为 高 质量 ,“ 坏 ”， “非常 坏 ” 视 为 低 质量 。 CUHKPQ 
偏好 。 举 “动物 ”类 为 例 ， 图 3 展示 了 不 同 的 个 体 选择 5 张 和  ” 数据库 中 每 一 类 的 分 类 准确 度 如 表 3 所 示 。 表 4 为 本 文 提出 的 
15 张 查 询 的 情况 。 如 图 所 示 ， 用 户 1 甚至 在 5 张 图 片 中 选择 了 用 户 专属 排序 模型 与 先前 工作 R47 同 目前 先进 水 平 的 21321 
五 类 动物 。 用 户 专属 图 片 显著 的 不 同 使 得 选择 5 张 查 询 有 着 较 ”的 准确 率 的 对 比 。 如 表 4 示 ， 同 目前 前 沿 工 作 [21](82.41%)， 
高 的 平均 精度 。 此 外 ， 作 者 也 观察 到 ， 当 人 允许 选择 更 多 用 户 专 。 [16](80.38%), [13](80.28%) 对 比 ， 本 文 准确 率 为 70.9%。 尽管 并 
遇 图 片 作为 查询 (15 或 20 SK) 时 ， 本 文 邀 请 的 受 试 者 更 倾向 非 专 为 高 低 质量 分 类 设计 ， 本 文 的 用 户 专属 排序 模型 仍然 取得 
于 选择 拥有 类 似 视觉 内 容 的 图 片 。 在 图 5 中 ， 用 户 1 和 用 户 2 了 较 好 的 成 绩 。 
选择 的 图 片 都 包含 了 天 空 ， 水 域 ， 且 都 有 相似 的 构图 。 用 户 #22 AVA 数据 集 下 不 同 用 户 专属 图 片 平均 精度 与 工作 吕 的 对 比 
专属 查询 图 片 间 的 相似 性 也 使 系统 在 进行 检索 时 能 够 效果 更 好 。 审美 工作 AP (Ë) 
需要 注意 的 是 ， 用 户 选取 15 张 专属 图 片 时 的 结果 也 值得 关注 。 USAR-5 70.15 
在 选取 过 程 中 ， 作 者 观察 发 现 ， 大 部 分 用 户 更 关注 选取 排名 靠 USAR-10 58.26 
前 的 图 片 的 质量 ， 较 少 关注 排 在 末尾 图 片 的 质量 (选取 后 用 户 USAR-15 58.58 
排序 较 高 的 图 片 质 量 非常 高 ， 用 户 排序 较 低 的 图 片 质量 相 较 于 USAR-20 55.99 
前 者 明显 降低 )。 现在 , 问题 的 关键 在 于 哪 一 组 用 户 专属 图 片 能 USAR_25 50.18 
更 好 体现 用 户 偏好 ? 如 表 1 Pras, 15 张 用 户 专属 图 片 在 “人 Feature encoding™! 77.03 
物 ”“ 风 景 ” 两 类 中 ， 预 测 的 平均 精度 最 高 ， 分 别 为 0.9075 和 
0.7382。 而 选择 5 张 专属 图 片 则 在 “动物 ” “SES”, “ACH”, 表 3 CUHKPQ 数据 集 下 图 片 高 低 质量 分 类 准确 率 
“植物 ”中 预测 效果 最 好 ,其 平均 精度 分 别 为 0.7143, 0.7169, 类 别 动物 建筑 人 物 风景 夜景 植物 静态 平均 
0.7483, 0.7439。 本 文 认 为 应 根据 不 同 的 类 选择 不 同 数量 的 用 户 准确 率 (%) 69.75 61.98 83.33 71.90 65.63 79.63 72.41 70.9 
专属 图 片 以 获得 最 佳 效果 。 
SE at RA 用 户 专属 排序 同 前 人 工作 对 比 
本 文 在 表 2 展示 了 选择 不 同 用 户 专属 图 片 所 学 习 的 模型 的 前 人 工作 准确 率 /% 
预测 平均 精度 (average precision) 以 及 与 目前 先进 水 平 [22] 的 对 Bate 68.67 
比 。 由 于 AVA 数据 集 没有 类 别 , 用 户 选 择 的 图 片 多 为 多 种 类 的 Luo”! 61.49 
混合 图 片 ， 故 该 实验 可 视 为 加 入 了 用 户主 观 偏好 的 多 种 类 图 片 Mavridaki!2!! 82.41 
高 低 质量 分 类 任务 。 即 用 户 喜 欢 的 即 认 为 高 质量 ， 用 户 不 喜欢 Geneticimages descripti 81.4 
的 照片 即 认为 低 质 量 。 由 表 2 可 知 ， 与 CUHKPQ 数据 集 的 结 High level featurel'” 68.13 
果 类 似 ， 选 择 5 张 用 户 专属 图 片 所 预测 的 精度 (70.15%) 最 为 Tiani? 80.38 
准确 ， 随 后 是 15 TK (58.58%), BAAN 10 5K (58.26%). ALN Wang!) 80.28 
AVA 数据 集 并 没有 为 图 片 分 类 ， 只 是 由 随机 的 阅览 者 进行 打分 。 用 户 专属 排序 70.9 
对 于 用 户 来 讲 ， 在 没有 基准 的 情况 下 ， 对 不 同类 别 的 图 片 选取 
个 人 偏好 的 图 片 是 模糊 的 。 这 也 是 下 一 步 需要 做 的 工作 。 尽 管 ‘ 
OST Oy 四 ; ae . 4 结束语 

在 同一 类 中 进行 用 户 偏好 的 学 习 有 一 定价 值 ， 但 用 户主 观 多 样 
的 喜好 使 得 跨 类 别 的 偏好 学 习 更 符合 实际 情况 。 表 2 第 5 行为 本 文 基于 SVM"“w* ， 提 出 一 种 新 颖 的 用 户 专属 的 个 性 化 偏 
Lee 等 人 2 所 做 的 工作 ，Lee 采用 DONN 的 特征 编码 进行 图 像 ” ”好 排序 模型 。 通 过 输入 用 户 偏好 照片 ， 并 构建 用 户 专属 的 训练 
高 低 质 量 的 分 类 ， 取 得 了 较 好 的 平均 精度 (77.03%)。 尽 管 本 文 。 集合 来 学 习 个 性 化 的 排序 模型 。 通 过 调节 用 户 专 属 照片 ， 训 练 
较 [20] 平 均 精度 较 低 ， 但 仍 取得 了 70.15% 的 较 高 精度 ， 同 时 也 ”和 集 的 尺寸 ， 可 以 避免 用 户 在 审美 疲劳 的 前 提 下 ， 较 好 的 捕捉 到 
将 用 户 的 偏好 考虑 在 内 ， 这 是 前 文 工 作 所 没有 的 。 用 户主 观 的 偏好 。 


实验 2 图 片 质量 高 
本 文 提出 的 用 


为 验证 


低 分 类 准确 度 


Pe fa 


排序 模型 的 可 靠 性 ， 本 文 同时 


i USAR 是 User-specific aesthetic ranking 的 缩写 ，USAR-5 表示 选择 $ 张 用 户 专属 图 片 ,下 同 。 
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